Entropy Gate: Entropy Quenching for Near-Lossless Token Compression in LLM Pipelines
熵门控：LLM管线中近乎无损的令牌压缩熵淬灭技术
🧭 LLM推理优化 · 提示令牌压缩 ★ 深度解读
Kwame Nkrumah University of Science and Technology
提出基于熵淬灭的多因子信息能量令牌压缩框架，结合保真门与能量平方放大，实现40-60%压缩且语义保持>0.80
📌 工作参考价值（5 点）
- 令牌重要性建模：多因子能量（统计+结构+位置）及自校准域能量可迁移至电商搜索/推荐场景，对商品描述、用户查询进行关键令牌保留，压缩冗余而不丢失实体词。
- 能量平方放大技巧：通过能量平方拉伸分布右尾，放大信噪比，使得高信息令牌更易被保留。可应用于任何基于分数排序的文本压缩或关键信息提取任务。
- 复合压缩策略：上下文去重结合外部记忆，实现88-96%的令牌削减。在Agent多轮对话或商品信息重复出现的场景中，可借鉴“记忆+淬灭”乘法组合，极大降低推理成本。
- 输出侧淬灭：利用模型回复信息密度低的特点，以更激进的压缩率减少回复长度。可在生成式推荐或对话式导购中压缩冗长回应，兼顾准确性与效率。
- 保真门机制：以能量加权相似度作为无模型推理的语义保留指标，为压缩提供数学保证。可引入任何压缩流程作为安全阀，确保任务关键信息不丢失。